我们描述了一种新的基于度量的学习方法,介绍了一个多模态框架,并在暹蒙配置中使用深音频和地震检波器编码,以设计适应和轻量级的监督模型。该框架消除了昂贵的数据标签过程的需求,并从从全峰传感系统获得的低多个多师数据学习通用表示。这些传感系统在活动识别任务中提供了许多应用和各种用例。在这里,我们打算探索来自室内环境的人类足迹运动,并分析来自基于声学和振动的传感器的小型自收集数据集的表示。核心思想是在两个感官特征之间学习合理的相似性,并将来自音频和地震孔信号的表示组合。我们提出了一种广义框架,用于从音频和地理孔信号中提取的时间和空间特征中学习嵌入的嵌入。然后,我们提取共享空间中的表示,以最大化声音和地理声音功能之间的兼容功能的学习。反过来,这可以有效地用于从学习模型执行分类任务,如通过将高相似性分配与人体脚步运动的对和不含脚步运动的对的相似性。性能分析表明,我们提出的多模式框架实现了19.99 \%的准确性增加(绝对术语),并且当训练样本从200对增加到只需500对时,避免在评估集上的过度拟合,同时令人满意地学习音频和地震听音乐声音表示。我们的结果采用基于度量的对比学习方法,用于多传感器数据,以减轻数据稀缺的影响,并利用有限的数据尺寸执行人体运动识别。
translated by 谷歌翻译